Qual é a diferença entre \(u_i\) e \(e_i\)?

Resposta:

• \(\color{#e64173}{u_i}\) fornece o erro populacional para a \(i\)ésima observação.

• \(u_i\) mede o quão longe a \(i\)-ésima observação está da linha populacional, ou seja,

\[ u_i = y_i - \color{#e64173}{\underbrace{(\beta_0 + \beta_1 x_i)}_{\text{Reta Populacional}}} \]

• \(\color{#6A5ACD}{e_i}\) fornece o resíduo da regressão para a \(i\)-ésima observação.

• \(e_i\) mede o quão longe a \(i\)-ésima observação está da linha de regressão, i.e.,

\[ e_i = y_i - \color{#6A5ACD}{\underbrace{\left(\hat{\beta}_0 + \hat{\beta}_1 x_i\right)}_{\text{Reta de Regressão} = \hat{y}}} = y_i - \color{#6A5ACD}{\hat{y}_i} \]

Discutimos bastante \(u_i^2\). Por que?

Resposta:

• Uma das principais suposições é que os erros (os \(u_i\)’s) são homocedásticos (têm variância constante), i.e., \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma^2\).

• Também assumimos que a média dos erros é zero, \(\color{#e64173}{\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right] = 0}\).

• Por definição,

\[ \mathop{\text{Var}} \left( u_i \middle| x_i \right) = \mathop{\boldsymbol{E}}\Big[ u_i^2 - \underbrace{\color{#e64173}{\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right]}^2}_{\color{#e64173}{=0}} \Big| x_i \Big] = \mathop{\boldsymbol{E}}\left[ u_i^2 \middle| x_i \right] \]

• Assim, se quisermos aprender sobre a variância de \(u_i\), podemos nos concentrar em \(u_i^2\).

Também discutimos bastante \(e_i^2\). Por que?

Resposta:

• Não podemos observar \(u_i\) (ou \(u_i^2\)).

• Mas \(u_i^2\) nos diz sobre a variância de \(u_i\).

• Usamos \(e_i^2\) para aprender sobre \(u_i^2\) e, consequentemente, \(\sigma_i^2\).

• Hoje, continuaremos nosso foco na hipótese de homcedasticidade.

• A homocedasticidade implica que a variância dos erros é constante:

\[ E[u_i^2 | X] = V(u_i | X ) = \sigma^2 \implies V(u_i) = \sigma^2 \] - A violação da homocedasticidade é conhecida como heterocedasticidade:

\[ V(u_i) = \sigma^2_i \,\, \text{e} \,\, \sigma^2_i \neq \sigma^2_j \,\,\text{para algum} \,\,i\neq j \]

• Em outras palavras: os erros têm variâncias diferentes.

• A heterocedasticidade está presente quando a variância de \(u\) muda com qualquer combinação das variáveis explicativas \(x_1\) até \(x_k\) (matriz: \(X\)).

• Muito comum na prática.

A heterocedasticidade está presente quando a variância de \(u\) muda com qualquer combinação das variáveis explicativas \(x_1\) até \(x_k\).

Temos alguns testes que podem nos ajudar a detectar heterocedasticidade.

• Goldfeld-Quandt
• Breusch-Pagan
• White

O que fazemos se detectarmos a heterocedasticidade?

Como discutimos, a especificação do seu modelo de regressão importa muito para a não tendenciosidade e eficiência do estimador.

Resposta nº 1: Garanta que sua especificação não cause heterocedasticidade.

Exemplo: Seja a relação populacional

\[ y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + u_i \]

com \(\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right] = 0\) e \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma^2\).

No entanto, omitimos \(x^2\) e estimamos:

\[ y_i = \gamma_0 + \gamma_1 x_i + w_i \]

Então

\[ w_i = u_i + \beta_2 x_i^2 \implies \mathop{\text{Var}} \left( w_i \right) = f(x_i) \]

I.e., a variância de \(w_i\) muda sistematicamente com \(x_i\) (heteroscedasticidade).

Mais geralmente:

Problema de especificação incorreta: A especificação incorreta do modelo de regressão pode causar heterocedasticidade (entre outros problemas).

Solução: 💡 Faça certo (por exemplo, não omita \(x^2\)).

Novos problemas:

• Muitas vezes não sabemos a especificação correta.
• Gostaríamos de um processo mais formal para abordar a heterocedasticidade.

Conclusão: A especificação muitas vezes não “resolverá” a heterocedasticidade.

No entanto, especificar corretamente o modelo ainda é muito importante.

Mínimos Quadrados Ponderados (WLS) apresentam outra abordagem.

Resposta #2: Aumente a eficiência ponderando as observações.

Seja a verdadeira relação populacional dada por:

\[ \begin{align} y_i = \beta_0 + \beta_1 x_{i} + u_i \tag{1} \end{align} \]

com \(u_i \sim \mathop{N} \left( 0,\, \sigma_i^2 \right)\).

Agora transforme \((1)\) dividindo os dados de cada observação por \(\sigma_i\), i.e.,

\[ \begin{align} \dfrac{y_i}{\sigma_i} &= \beta_0 \dfrac{1}{\sigma_i} + \beta_1 \dfrac{x_{i}}{\sigma_i} + \dfrac{u_i}{\sigma_i} \tag{2} \end{align} \]

\[ \begin{align} y_i &= \beta_0 + \beta_1 x_{i} + u_i \tag{1} \\[1em] \dfrac{y_i}{\sigma_i} &= \beta_0 \dfrac{1}{\sigma_i} + \beta_1 \dfrac{x_{i}}{\sigma_i} + \dfrac{u_i}{\sigma_i} \tag{2} \end{align} \]

Enquanto \((1)\) é heterocedástico, \(\color{#e64173}{(2)}\) é homocedástico.

∴ MQO é eficiente e não viesado para estimar \(\beta_k\) em \((2)\)!

Por que \((2)\) é homocedástico?

\[ \mathop{V} \left(\dfrac{u_i}{\sigma_i} \middle| x_i \right) = \dfrac{1}{\sigma_i^2} \mathop{V} \left( u_i \middle| x_i \right) = \dfrac{1}{\sigma_i^2} \sigma_i^2 = 1 \]

\[ \begin{align} y_i &= \beta_0 + \beta_1 x_{i} + u_i \tag{1} \\[1em] \dfrac{y_i}{\sqrt{h(x_i)}} &= \beta_0 \dfrac{1}{\sqrt{h(x_i)}} + \beta_1 \dfrac{x_{i}}{\sqrt{h(x_i)}} + \dfrac{u_i}{\sqrt{h(x_i)}} \tag{2} \end{align} \]

com \(\mathop{\text{Var}} \left( u_i | x_i \right) = \sigma^2 h(x_i)\).

Agora vamos verificar se \((2)\) é de fato homocedástico.

\[ \mathop{V} \left(\dfrac{u_i}{\sqrt{h(x_i)}} \middle| x_i \right) = \dfrac{1}{h(x_i)} \mathop{V} \left( u_i \middle| x_i \right) = \dfrac{1}{h(x_i)} \sigma^2 h(x_i) = \color{#e64173}{\sigma^2} \]

Homocedasticidade!

Resposta #3:

• Ignore a ineficiência dos estimadores de MQO (na presença de heterocedasticidade).
• Foque em estimativas não viesadas para os erros padrão.
• No processo: Corrija a inferência.

Q: O que é erro padrão?

R: É o desvio padrão da distribuição amostral de um estimador.

Estimadores (como \(\hat{\beta}_1\)) são variáveis aleatórias, então eles têm distribuições de probabilidade.

Erros padrão nos dão uma noção da variabilidade de um estimador.

Lembre-se: Podemos escrever o estimador de MQO para \(\beta_1\) como:

\[ \hat{\beta}_1 = \beta_1 + \dfrac{\sum_i \left(x_i - \overline{x} \right) u_i}{\sum_i \left( x_i - \overline{x} \right)^2} = \beta_1 + \dfrac{\sum_i \left( x_i - \overline{x} \right) u_i}{\text{SST}_x} \tag{3} \]

Seja \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma_i^2\).

Podemos usar \((3)\) para escrever a variância de \(\hat{\beta}_1\), i.e.,

\[ \mathop{V} \left( \hat{\beta}_1 \middle| x_i \right) = \dfrac{\sum_i \left( x_i - \overline{x} \right)^2 \sigma_i^2}{\text{SST}_x^2} \tag{4} \]

Os estimadores robustos à heterocedasticidade para o erro padrão de \(\beta_j\) são:

Caso 1 Regressão linear simples, \(y_i = \beta_0 + \beta_1 x_i + u_i\)

\[ \widehat{\mathop{\text{Var}}} \left( \hat{\beta}_1 \right) = \dfrac{\sum_i \left( x_i - \overline{x} \right)^2 e_i^2}{\text{SST}_x^2} \]

Caso 2 Regressão linear múltipla, \(y_i = \beta_0 + \beta_1 x_{1i} + \cdots + \beta_k x_{ki} + u_i\)

\[ \widehat{\mathop{\text{Var}}} \left(\hat{\beta}_j \right) = \dfrac{\sum_i \hat{r}_{ij}^2 e_i^2}{\text{SST}_{x_j^2}} \]

onde \(\hat{r}_{ij}\) denota o \(i-\)ésimo resíduo da regressão de \(x_j\) contra todas as outras variáveis explicativas.

Com esses erros padrão, podemos retornar à inferência estatística correta.

Por exemplo, podemos atualizar a fórmula para a estatística \(t\) anterior com os novos erros padrão robustos à heterocedasticidade:

\[ t = \dfrac{\text{Estimativa} - \text{Valor hipotético}}{\text{Erro padrão}} \]

Notas

• Ainda estamos usando os estimadores de MQO para \(\color{#e64173}{\beta_j}\).

• Os erros padrão robustos à heteroc. usam um estimador diferente.

• Sob Homocedasticidade:

  • O estimador de MQO da variância é mais eficiente.
  • Os erros padrão robustos à heteroc. ainda são não viesados.

• Sob Heterocedasticidade:

  • O estimador de MQO da variância é viesado.
  • O estimador de variância robustos à heteroc. é não viesado.

Esses erros padrão têm muitos nomes

• Erros padrão robustos à heterocedasticidade
• Erros padrão de White
• Erros padrão de Eicker-White
• Erros padrão de Huber
• Erros padrões de Eicker-Huber-White
• (alguma outra combinação de Eicker, Huber e White)

Não diga: “Erros padrão robustos”. O problema: “robusto” a quê?